#Inference optimization - AI Papers Daily

ActKV: Efficient LLM Agents through Action-Guided KV Cache Management

ActKV：面向智能体LLM推理的动作引导KV缓存管理

🧭 Agent KV缓存压缩与推理优化

University of Science and Technology of China · Suzhou Institute for Advanced Research, University of Science and Technology of China

提出首个面向Agentic LLM推理的KV缓存压缩框架，以动作生成贡献度为准则压缩缓存

📌 工作参考价值（4 点）

动作导向的KV淘汰策略：在电商导购、购物助手等Agent推理循环中，可优先保留对后续动作（如商品检索、推荐API调用、订单操作）生成贡献大的KV条目，而非全局文本质量，降低缓存占用且不损失任务成功率。
置信度驱动的自适应预算分配：利用LLM生成动作时的内在置信度（如token概率）动态调整KV缓存预算，适配不同任务阶段对动作关键记忆的波动需求，可集成到现有Agent serving框架中提升长时多轮交互的吞吐。
页式压缩管理与定制内核：将缓存压缩抽象为淘汰、预算分配、页管理三个原语，并配合定制CUDA kernel实现实际吞吐提升，适合高并发场景下Agent推理服务的工程化落地。
评估指标转向动作质量：业务中应关注最终动作成功率和任务完成度，而非仅看文本生成困惑度或BLEU，ActKV的实验设计可借鉴到Agent/推荐对话系统的离线评测中。

Agent | 2026-09-25 | cs.AI | score 7/10

An AI4AI Framework for Visual Token Pruning

视觉 Token 剪枝的 AI4AI 框架

🧭 LLM 驱动的视觉 Token 剪枝策略自动设计

Xi'an Jiaotong University · Ningbo University of Technology · North China University of Technology · MiLM Plus, Xiaomi Inc. · Hong Kong University of Science and Technology

提出 AutoPrune，用 LLM 驱动 TPDSL 自动设计视觉 token 剪枝策略，免训练，删 94.4% token 仍保持 99% 以上性能

📌 工作参考价值（4 点）

多模态推理降本：电商商品图/视频理解、广告创意理解等多模态服务中，可借鉴 AutoPrune 的训练-free 剪枝思路，用领域特定语言描述预算控制、token 打分、选择约束，快速替代手工规则，降低 prefill 延迟。
残差式策略搜索：不从头搜索，而是在强基础策略上做残差修改，缩小搜索空间并让 LLM 聚焦关键组件；该思想可迁移到推荐系统策略搜索、特征选择、排序规则自动调优。
可复用原子库：将剪枝/召回/过滤等策略拆成可组合原子操作，跨模型和场景迁移；业务中可构建相似 DSL 与原子库，降低策略迭代成本。
推理加速指标参考：删 94.4% 视觉 token 仍保持 99% 性能，FLOPs 降 9.9×，prefill 延迟降 6.4×；对低延迟电商搜索/推荐中的多模态 LLM 服务有直接工程参考价值。

Multimodal | 2026-08-06 | HF Daily | score 6/10

Visual Token Pruning MLLM LLM-driven search TPDSL Training-free Inference optimization